$τ$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems
τ-Rec-Books:控制需求披露的智能推荐系统需求诱导基准
🧭 Agentic RecSys 评测 · 需求诱导 ★ 深度解读
Independent Researcher · Princeton University
提出控制需求披露时机的书籍推荐评测基准,揭示隐藏需求下智能体成功率从 0.975 跌至 0.283
📌 工作参考价值(4 点)
- 在电商对话推荐 Agent 中,应内置“先问全字段再推荐”的 check:mixed 失败几乎都因不主动询问,显式要求 ask 能让所有模型 mixed 成功率从最低 0.419 拉到 ≥0.931。可在 prompt 或状态机里把关键硬约束字段逐一询问后再进入检索。
- 对隐藏偏好/未说需求,不要只把 reject 当失败信号;维护一个“可能隐藏约束”集合,被拒绝商品满足的候选约束都删掉,优先推荐覆盖剩余约束最多的候选。该 eliminating 策略在 hidden 任务上是 0.956 vs 0.622,远超 popularity。
- 给 Agent 的工具接口优先做结构化过滤(类目、品牌、价格区间、格式等),而不是只给 top-k 关键词搜索;硬约束场景下 structured search 平均 +7.1 分,且目录变大时几乎不掉点。
- 用规则化用户 + 目录元数据校验可低成本复现 disclosure-controlled 评测,无需 LLM judge;在 prompt 或版本迭代时,可先跑这种可验证 benchmark 再上人类评估,特别关注 hidden NVR 的弃权与 untested recommendation 比例。